import pandas as pd
import matplotlib.pyplot as plt
import plotly.express as px
import seaborn as sns
import gensim
from gensim import corpora
from scipy import stats as st
import numpy as np
#from scipy.stats import ttest_ind
from statsmodels.sandbox.stats.multicomp import multipletests

data = pd.read_csv('/datasets/ecom_dataset_upd.csv')
data.info()
display(data.head(20))
display(data.tail(20))

<class 'pandas.core.frame.DataFrame'>
RangeIndex: 7474 entries, 0 to 7473
Data columns (total 6 columns):
 #   Column       Non-Null Count  Dtype  
---  ------       --------------  -----  
 0   date         7474 non-null   int64  
 1   customer_id  7474 non-null   object 
 2   order_id     7474 non-null   int64  
 3   product      7474 non-null   object 
 4   quantity     7474 non-null   int64  
 5   price        7474 non-null   float64
dtypes: float64(1), int64(3), object(2)
memory usage: 350.5+ KB

data['date'] = pd.to_datetime(data['date'], format='%Y%m%d%H')
display(data.head(5)) # проверим, что данные отображаются как дата и тип данных поменялся
data.info()

<class 'pandas.core.frame.DataFrame'>
RangeIndex: 7474 entries, 0 to 7473
Data columns (total 6 columns):
 #   Column       Non-Null Count  Dtype         
---  ------       --------------  -----         
 0   date         7474 non-null   datetime64[ns]
 1   customer_id  7474 non-null   object        
 2   order_id     7474 non-null   int64         
 3   product      7474 non-null   object        
 4   quantity     7474 non-null   int64         
 5   price        7474 non-null   float64       
dtypes: datetime64[ns](1), float64(1), int64(2), object(2)
memory usage: 350.5+ KB

print('Минимальная дата', min(data['date']))
print('Максимальная дата', max(data['date']))

Минимальная дата 2018-10-01 00:00:00
Максимальная дата 2020-01-31 15:00:00

data.duplicated().sum()

0

data.loc[:,'customer_id':'price'].duplicated().sum()

1864

implicit_duplicates = data[data.loc[:,'customer_id':'price'].duplicated()]
implicit_duplicates.head(10)

# Сначала сортируем, затем удаляем дубликаты
data = (data.sort_values(by='date', ascending=True).
        drop_duplicates(subset=['customer_id', 'order_id', 'product', 'quantity', 'price'], keep='last'))
data.info() # проверим общее количество строк после удаления дубликатов

<class 'pandas.core.frame.DataFrame'>
Int64Index: 5610 entries, 0 to 7473
Data columns (total 6 columns):
 #   Column       Non-Null Count  Dtype         
---  ------       --------------  -----         
 0   date         5610 non-null   datetime64[ns]
 1   customer_id  5610 non-null   object        
 2   order_id     5610 non-null   int64         
 3   product      5610 non-null   object        
 4   quantity     5610 non-null   int64         
 5   price        5610 non-null   float64       
dtypes: datetime64[ns](1), float64(1), int64(2), object(2)
memory usage: 306.8+ KB

duplicated_orders = data.groupby(['order_id'])[['customer_id']].nunique().sort_values(by='customer_id', ascending=False)
duplicated_orders = duplicated_orders.query('customer_id > 1').reset_index()
display(duplicated_orders)

# Извлечение заказов по указанным идентификаторам
filtered_orders = data[data['order_id'].isin(duplicated_orders['order_id'])]
display(filtered_orders.head(8))

# Удаляем последний дубликат каждой группы
filtered_orders_duplicates = (filtered_orders.sort_values(by='date', ascending=True).
                              drop_duplicates(subset=['order_id', 'product', 'quantity', 'price'], keep='last'))

#display(filtered_orders_duplicates)

# Получаем множества индексов для каждого датафрейма
indices1 = set(filtered_orders.index)
indices2 = set(filtered_orders_duplicates.index)

# Находим индексы, отсутствующие во втором датафрейме
missing_indices_in_filtered_orders_duplicates = indices1 - indices2

# Запись отсутствующих индексов в отдельные списки
missing_indices_filtered_orders_duplicates = list(missing_indices_in_filtered_orders_duplicates)

# Вывод результатов
print(f"Удалить индексы: {missing_indices_in_filtered_orders_duplicates}")

# Удаление строк по индексам
data = data.drop(missing_indices_filtered_orders_duplicates)
data.info() # проверка

Удалить индексы: {512, 1154, 6026, 1292, 2322, 2579, 4124, 1443, 2211, 6440, 5545, 1706, 5546, 1196, 4909, 5547, 6449, 2996, 4025, 3389, 5570, 2118, 6601, 1226, 4298, 1237, 3932, 6504, 2409, 6505, 6508, 1519, 3963}
<class 'pandas.core.frame.DataFrame'>
Int64Index: 5577 entries, 0 to 7473
Data columns (total 6 columns):
 #   Column       Non-Null Count  Dtype         
---  ------       --------------  -----         
 0   date         5577 non-null   datetime64[ns]
 1   customer_id  5577 non-null   object        
 2   order_id     5577 non-null   int64         
 3   product      5577 non-null   object        
 4   quantity     5577 non-null   int64         
 5   price        5577 non-null   float64       
dtypes: datetime64[ns](1), float64(1), int64(2), object(2)
memory usage: 305.0+ KB

quantity_count = data.groupby(['order_id'])[['quantity']].sum().sort_values(by='quantity', ascending=True).reset_index()
display(quantity_count)
quantity_count['quantity'].describe().round(1)

count    3521.0
mean        4.1
std        21.3
min         1.0
25%         1.0
50%         1.0
75%         2.0
max      1000.0
Name: quantity, dtype: float64

orders_groupby_quantity = (quantity_count.groupby('quantity')[['order_id']].
                           count().sort_values(by='quantity', ascending=True).reset_index())
orders_groupby_quantity.columns = ['quantity_positions', 'count_orders']
#display(orders_groupby_quantity.head(5))

orders_groupby_quantity.plot(x='quantity_positions', y='count_orders', kind= 'bar', figsize = (20,5), grid = True)
plt.title('График распределения заказов по количеству товаров')
plt.xlabel('Кол-во товаров в заказе')
plt.ylabel('кол-во заказов')
plt.show()

#display(quantity_count['quantity'].quantile(0.95))
a = quantity_count['quantity'].quantile(0.95)
big_orders = quantity_count.query('quantity > @a').sort_values(by='quantity', ascending = False)
display(big_orders)

with pd.option_context('display.max_rows', None, 'display.max_columns', None):  # more options can be specified also
    display(data[data['order_id'].isin(big_orders['order_id'])])

data['revenue'] = data['quantity']*data['price']
revenue_by_order = data.groupby(['order_id'])[['revenue']].sum().sort_values(by='revenue', ascending=False).reset_index()

#display(revenue_by_order.head(5))
revenue_by_order.describe().round(1)

# удалим заказ с вантусами
max_order = quantity_count['order_id'][quantity_count['quantity'] == quantity_count['quantity'].max()].values[0]
display(max_order)
#data = data.query('order_id != "max_order"')
#data[data['order_id'] == max_order]

data.drop(data[data['order_id'] == max_order].index, inplace=True)

71743

# Вычисление первого и третьего квартиля
#Q1 = revenue_by_order['revenue'].quantile(0.25)
#Q3 = revenue_by_order['revenue'].quantile(0.75)

# Вычисление межквартильного расстояния (IQR)
#IQR = Q3 - Q1

# Определение границ для выбросов
#upper_bound = Q3 + 1.5 * IQR
#display(upper_bound)

# Удаление выбросов
#orders_no_outliers = revenue_by_order[(revenue_by_order['revenue'] <= upper_bound)]
#display(orders_no_outliers)

# оставим в исходном датафрейме заказы из orders_no_outliers
#data = data[data['order_id'].isin(orders_no_outliers['order_id'])]
#data.info()

# Отделение первых двух слов
data['first_word'] = data['product'].str.split().str[0]
#display(data.head(10))

first_word_count = data.groupby('first_word')[['first_word']].count()
first_word_count.columns = ['count']
first_word_count = first_word_count.sort_values(by='count', ascending=False)

# посмотрим на слова, которые более 20 раз встретились в списке
display(first_word_count.query('count > 20'))
display(sorted(data['first_word'].unique()))

['Tepмокружка',
 'Ёрш',
 'Автоматическая',
 'Агератум',
 'Адиантум',
 'Азалия',
 'Аквилегия',
 'Алиссум',
 'Алоэ',
 'Альбука',
 'Амариллис',
 'Анемона',
 'Антижир',
 'Антинакипин',
 'Антуриум',
 'Аптения',
 'Арбуз',
 'Аргирантерум',
 'Ароматизированное',
 'Артемизия',
 'Аспарагус',
 'Астра',
 'Афеляндра',
 'Бадан',
 'Базилик',
 'Бак',
 'Баклажан',
 'Бакопа',
 'Бальзам',
 'Бальзамин',
 'Банка',
 'Барвинок',
 'Бархатцы',
 'Бегония',
 'Бельевые',
 'Бензин',
 'Бидон',
 'Блюдо',
 'Блюдце',
 'Буддлея',
 'Бузульник',
 'Бульонница',
 'Ваза',
 'Вакуумный',
 'Валериана',
 'Ванна',
 'Вантуз',
 'Ведро',
 'Веник',
 'Венчик',
 'Вербейник',
 'Вербена',
 'Веревка',
 'Вероника',
 'Весы',
 'Вешалка',
 'Вешалка-перекладина',
 'Вешалка-плечики',
 'Вешалка-стойка',
 'Вешалка-сушилка',
 'Вешалки',
 'Вигна',
 'Вилка',
 'Виола',
 'Вкладыши',
 'Газания',
 'Гайлардия',
 'Гардения',
 'Гвоздика',
 'Георгина',
 'Герань',
 'Гербера',
 'Гиацинт',
 'Гимнокалициум',
 'Гиностемма',
 'Гипоаллергенный',
 'Гипсофила',
 'Гладильная',
 'Глоксиния',
 'Годеция',
 'Горох',
 'Гортензия',
 'Готовая',
 'Губка',
 'Двуспальное',
 'Девичий',
 'Декабрист',
 'Декоративная',
 'Дендробиум',
 'Держатель',
 'Джункус',
 'Диффенбахия',
 'Дозатор',
 'Доска',
 'Драцена',
 'Душица',
 'Дыня',
 'Ель',
 'Емкость',
 'Ерш',
 'Жестяная',
 'Жидкое',
 'Завертка',
 'Замиокулькас',
 'Запасная',
 'Защитная',
 'Защитный',
 'Зверобой',
 'Земляника',
 'Змееголовник',
 'Зубная',
 'Измельчитель',
 'Измерительный',
 'Импатиенс',
 'Искусственная',
 'Искусственный',
 'Иссоп',
 'Кабачок',
 'Каланхое',
 'Калатея',
 'Календула',
 'Калибрахоа',
 'Калла',
 'Каллуна',
 'Калоцефалус',
 'Камнеломка',
 'Кампанула',
 'Капсикум',
 'Капуста',
 'Карниз',
 'Картофелемялка',
 'Кастрюля',
 'Кипарисовик',
 'Кипятильник',
 'Кисточка',
 'Клен',
 'Клубника',
 'Ключница',
 'Ковер',
 'Коврик',
 'Ковш',
 'Ковёр',
 'Кодонанта',
 'Колеус',
 'Колокольчик',
 'Кольца',
 'Комнатное',
 'Комод',
 'Комплект',
 'Кондиционер',
 'Контейнер',
 'Концентрат',
 'Кореопсис',
 'Корзина',
 'Корзинка',
 'Кориандр',
 'Короб',
 'Коробка',
 'Корыто',
 'Космея',
 'Котел',
 'Котовник',
 'Кофе',
 'Кофр',
 'Крассула',
 'Крепеж',
 'Крокусы',
 'Кружка',
 'Крышка',
 'Крючок',
 'Кувшин',
 'Кухонное',
 'Кухонные',
 'Лаванда',
 'Лаватера',
 'Лавр',
 'Лантана',
 'Лапчатка',
 'Левкой',
 'Лен',
 'Лестница',
 'Лестница-стремянка',
 'Лилейник',
 'Линейка,',
 'Литопс',
 'Лобелия',
 'Ложка',
 'Лопатка',
 'Лоток',
 'Лук',
 'Львиный',
 'Любисток',
 'Мантоварка',
 'Мантоварка-пароварка',
 'Масленка',
 'Маттиола',
 'Махровое',
 'Махровый',
 'Мединилла',
 'Мелисса',
 'Мерный',
 'Мешок',
 'Миксер',
 'Мимоза',
 'Мини-сковорода',
 'Мирт',
 'Миска',
 'Многолетнее',
 'Многофункциональный',
 'Модульная',
 'Молодило',
 'Монарда',
 'Морковь',
 'Муляж',
 'Муррайя',
 'Мускари',
 'Мусорный',
 'Мыло',
 'Мыло-скраб',
 'Мыльница',
 'Мята',
 'Набор',
 'Наволочка',
 'Наматрасник',
 'Наматрацник',
 'Наматрицник-чехол',
 'Насадка',
 'Насадка-моп',
 'Насадка-отжим',
 'Настенная',
 'Настольная',
 'Настурция',
 'Незабудка',
 'Нетканые',
 'Нефролепис',
 'Нивянник',
 'Новогоднее',
 'Нож',
 'Ножеточка',
 'Нолина',
 'Обувница-3',
 'Овощеварка',
 'Овощечистка',
 'Овсянница',
 'Огурец',
 'Одеяло',
 'Однолетнее',
 'Окномойка',
 'Ополаскиватель',
 'Орехоколка',
 'Осина',
 'Основание',
 'Отбеливатель',
 'Отделитель',
 'Отжим',
 'Папоротник',
 'Паста',
 'Патиссон',
 'Пахира',
 'Пеларгония',
 'Пена',
 'Пеперомия',
 'Перчатки',
 'Петля',
 'Петля-стрела',
 'Петрушка',
 'Петуния',
 'Пиретрум',
 'Платикодон',
 'Плед',
 'Плечики',
 'Подарочный',
 'Подвесное',
 'Подголовник',
 'Подкладка',
 'Пододеяльник',
 'Подрукавник',
 'Подсолнечник',
 'Подставка',
 'Подушка',
 'Покрывало',
 'Покрытие',
 'Полка',
 'Полки',
 'Половник',
 'Полотенце',
 'Портулак',
 'Пресс',
 'Примула',
 'Прищепки',
 'Пробка',
 'Просеиватель',
 'Простынь',
 'Простыня',
 'Противень',
 'Пружина',
 'Пряные',
 'Пуансетия',
 'Пуансеттия',
 'Пылесос',
 'Пьезозажигалка',
 'Радермахера',
 'Разделочная',
 'Ранункулус',
 'Рассада',
 'Рассекатель',
 'Решетка',
 'Роза',
 'Розмарин',
 'Ролик',
 'Рудбекия',
 'Рукав',
 'Ручка',
 'Ручка-скоба',
 'Рыбочистка',
 'Салат',
 'Салатник',
 'Салфетка',
 'Салфетница',
 'Сальвия',
 'Сантолина',
 'Сахарница',
 'Сверло',
 'Сверло-фреза,',
 'Светильник',
 'Седум',
 'Сельдерей',
 'Сервировочная',
 'Сетка',
 'Сиденье',
 'Синнингия',
 'Сито',
 'Скалка',
 'Скатерть',
 'Скиммия',
 'Складная',
 'Складной',
 'Сковорода',
 'Скребок',
 'Сменная',
 'Сменный',
 'Сметка',
 'Смолевка',
 'Совок',
 'Соковарка',
 'Соковыжималка',
 'Соланум',
 'Солидаго',
 'Сотейник',
 'Спатифиллум',
 'Средство',
 'Стакан',
 'Стеклянная',
 'Стеллаж',
 'Стиральный',
 'Столовая',
 'Столовый',
 'Стремянка',
 'Стремянка-табурет',
 'Стремянки',
 'Стяжка',
 'Стяжки',
 'Суккулент',
 'Сумка',
 'Сумка-тележка',
 'Сушилка',
 'Сциндапсус',
 'Табак',
 'Тагетис',
 'Таз',
 'Тарелка',
 'Тележка',
 'Терка',
 'Термокружка',
 'Термометр',
 'Термос',
 'Термостакан',
 'Тимьян',
 'Ткань',
 'Толкушка',
 'Томат',
 'Тортница',
 'Тряпка',
 'Тряпкодержатель',
 'Тыква',
 'Тюльпан',
 'Увлажняющая',
 'Уголок',
 'Укроп',
 'Универсальное',
 'Универсальный',
 'Урна',
 'Урна-пепельница',
 'Утюг',
 'Фал',
 'Фаленопсис',
 'Фарфоровая',
 'Фатсия',
 'Фен',
 'Фиалка',
 'Физостегия',
 'Фиксатор-шар',
 'Фикус',
 'Фиттония',
 'Флокс',
 'Форма',
 'Фоторамка',
 'Фуксия',
 'Халат',
 'Хамедорея',
 'Хлебница',
 'Хлорофитум',
 'Холодная',
 'Хоста',
 'Хризантема',
 'Хризолидокарпус',
 'Цветок',
 'Цветущее',
 'Целозия',
 'Цикламен',
 'Цикламен,',
 'Цинерания',
 'Цинерария',
 'Циния',
 'Цинния',
 'Циперус',
 'Цитрофортунелла',
 'Чабер',
 'Чайная',
 'Чайник',
 'Чайный',
 'Чехол',
 'Чистящий',
 'Шалфей',
 'Швабра',
 'Шеффлера',
 'Шило',
 'Шнур',
 'Шпагат',
 'Шпингалет',
 'Шприц',
 'Штанга',
 'Штангенциркуль',
 'Штора',
 'Щетка',
 'Щетка-сметка',
 'Щетка-утюжок',
 'Щётка',
 'Эвкалипт',
 'Электроштопор',
 'Энотера',
 'Эпипремнум',
 'Этажерка',
 'Эхеверия',
 'Эхинацея',
 'Эхинокактус',
 'Эшшольция',
 'Юкка',
 'Ясколка',
 'Ящик',
 'томата']

# Пример корпуса документов
documents = data['first_word']

# Преобразуем документы в список токенов
texts = [[word for word in document.lower().split()] for document in documents]

# Создаем словарь
dictionary = corpora.Dictionary(texts)

# Преобразуем тексты в векторную форму
corpus = [dictionary.doc2bow(text) for text in texts]

# Обучаем модель LDA
lda_model = gensim.models.LdaModel(corpus=corpus,
                                   id2word=dictionary,
                                   num_topics=8,
                                   passes=20)

# Выводим темы модели
topics = lda_model.print_topics(num_words=4)
for topic in topics:
    print(topic)

(0, '0.229*"томата" + 0.096*"роза" + 0.086*"искусственный" + 0.065*"тарелка"')
(1, '0.180*"герань" + 0.076*"цветок" + 0.060*"салатник" + 0.033*"тимьян"')
(2, '0.370*"сушилка" + 0.160*"гладильная" + 0.130*"тележка" + 0.080*"однолетнее"')
(3, '0.282*"петуния" + 0.088*"набор" + 0.078*"вешалка" + 0.058*"стремянка"')
(4, '0.272*"коврик" + 0.089*"корзина" + 0.051*"флокс" + 0.047*"банка"')
(5, '0.542*"сумка-тележка" + 0.051*"чайник" + 0.038*"кружка" + 0.033*"швабра"')
(6, '0.431*"пеларгония" + 0.314*"рассада" + 0.069*"чехол" + 0.049*"таз"')
(7, '0.281*"муляж" + 0.142*"штора" + 0.077*"калибрахоа" + 0.056*"полки"')

data['first_word'] = data['first_word'].str.lower()
#data.head(5)

category_flower = ['адиантум', 'азалия', 'алоэ', 'алиссум', 'альбука', 'амариллис', 'антуриум', 'аптения', 'арбуз', 
                   'артемизия', 'аспарагус', 'астра', 'афеляндра', 'базилик', 'бакопа', 'бальзамин', 'бархатцы',
                   'бегония', 'вербена', 'вербейник', 'виола', 'гардения', 'герань', 'гербера', 'гиностемма',
                   'гипсофила', 'глоксиния', 'гвоздика', 'гиацинт', 'годеция', 'гортензия', 'декабрист', 'дендробиум',
                   'диффенбахия', 'душица', 'дыня', 'ель', 'зверобой', 'змееголовник', 'иссоп', 'калатея',
                   'каланхое', 'календула', 'калибрахоа', 'калоцефалус', 'кампанула', 'каллуна', 'капсикум', 'капуста',
                   'кипарисовик', 'клен', 'клубника', 'колеус', 'комнатное', 'кориандр', 'кореопсис', 'космея', 'котовник',
                   'кофе', 'крассула', 'лаванда', 'лавр', 'лантана', 'левкой', 'литопс', 'лобелия', 'львиный', 'мединилла', 
                   'мелисса', 'мимоза', 'мирт', "многолетнее", 'молодило', 'морковь', 'муррайя', 'мята', 'настурция', 
                   'незабудка', 'нефролепис', 'нолина', 'однолетнее', 'огурец', 'пахира', 'пеларгония', 'петрушка', 
                   'петуния', 'пиретрум', 'платикодон', 'примула', 'подсолнечник', 'портулак', 'пуансеттия', 'пуансетия', 
                   'рассада', 'радермахера', 'ранункулус', 'роза', 'розмарин', 'салат','сантолина', 'скиммия', 'соланум', 
                   'суккулент', 'тагетис', 'томат', 'томата', 'тимьян', 'тюльпан', 'укроп', 'фаленопсис', 'фафеляндра', 
                   'фиалка', 'физостегия', 'фиттония', 'флокс', 'фуксия', 'хамедорея', 'хлорофитум', 'хризантема', 
                   'хризолидокарпус', 'цветущее', 'цикламен', 'цикламен,', 'цинерания', 'цинния', 'циперус', 'цинерария', 
                   'цитрофортунелла', 'чабер', 'шеффлера', 'эвкалипт', 'энотера', 'эхеверия', 'эхинокактус', 'юкка']

category_kitchen = ['антижир', 'бальзам', 'банка', 'блюдо', 'блюдце', 'весы', 'вилка', 'вкладыши', 'готовая', 'губка', 
                    'жестяная', 'защитный', 'измельчитель', 'кастрюля', 'кипятильник', 'кисточка', 'ковш', 'картофелемялка', 
                    'котел', 'кружка', 'кувшин', 'куханное', 'кухонные', 'ложка', 'лопатка','лоток', 'мантоварка',
                    'масленка', 'мерный', 'мини-сковорода', 'миксер', 'миска', 'модульная', 'набор', 'нетканые', 'нож', 
                     'ножеточка', 'орехоколка','овощеварка', 'овощечистка', 'овсянница', 'отделитель', 'половник', 
                    'подставка', 'пресс', 'противень', 'просеиватель', 'пьезозажигалка', 'разделочная', 'рыбочистка', 
                    "салатник", 'салфетка', 'салфетница', 'сахарница', 'сервировочная', 'сито', 'скребок', 'стакан', 
                    'столовых', 'столовая', 'скатерть', 'сковорода', 'соковарка', 'соковыжималка', 'сотейник', 'стеклянная', 
                    'столовый', "тарелка", "термокружка", "tepмокружка", 'термостакан', 'терка', 'термос', 'толкушка', 
                    'универсальный', 'фарфоровая', 'форма', 'хлебница', 'чайная', 'чайный', 'чайник', 'электроштопор', 
                    'эшшольция']

category_bath = ['автоматическая', 'бак', 'ванна', 'ведро', 'веник', 'вешалка-сушилка', 'гипоаллергенный', 'дозатор', 'ёрш', 
                 'ерш', 'жидкое', 'зубная', 'карниз', 'коврик', 'кольца', 'комплект', 'кондиционер', 'корзина', 
                 'корыто', 'мусорный', 'мыло', 'мыльница', 'настенная', 'насадка', 'окномойка', 'ополаскиватель', 'пена', 
                 'перчатки', 'подголовник', 'прищепки', 'пробка', 'сетка', 'сиденье', 'сметка', 'совок', 'средство', 
                 'стиральный', "сушилка", "таз", 'тряпка', 'тряпкодержатель', 'универсальное',
                  'чистящий', 'швабра', 'штанга', "штора", 'щетка', 'щётка', 'щетка-сметка']

category_deco = ['декоративная', 'искусственная', 'искусственный', 'ковер', 'ковёр', 'муляж', 'новогоднее', 'подвесное', 
                 'светильник', 'фоторамка', 'цветок', 'ящик']

category_furniture = ['вешалка', 'вешалки', 'вешалка-плечики', 'вешалка-стойка', 'гладильная', 'доска', 'комод', 'крепеж', 
                      'лестница', 'лестница-стремянка', 'настольная', 'плечики', 'покрытие', 'подрукавник', 'полки', 
                      'пружина', 'рукав', 'ручка', 'ручка-скоба', 'стеллаж', 'стремянка', 'стремянки', 'стяжка', 'стяжки']

category_keeping = ['вакуумный', 'контейнер', 'короб', 'коробка', 'кофр', 'крючок', 'подкладка', 'сумка', 'сумка-тележка', 
                    'тележка', 'чехол', 'шнур', 'этажерка']

category_textile = ['двуспальное', 'махровое', 'наматрасник', 'наматрицник-чехол', 'одеяло', 'плед', 'подушка', 'покрывало', 
                    'полотенце','простыня', 'простынь', 'ткань', 'халат']

category_repair = ['измерительный', 'многофункциональный', 'линейка,', 'основание', 'паста', 'петля', 'петля-стрела', 
                   'сверло-фреза,', 'стремянка-табурет', 'уголок', 'холодная', 'шило', 'шпингалет', 'штангенциркуль']

def product_category(row):
    product = row['first_word']
   
    if product in category_flower:
        return 'Цветы и рассада'
    elif product in category_kitchen:
        return 'Кухонные принадлежности'
    elif product in category_bath:
        return 'Ванные принадлежности'
    elif product in category_deco:
        return 'Декор'
    elif product in category_furniture:
        return 'Мебель'
    elif product in category_keeping:
        return 'Хранение'
    elif product in category_textile:
        return 'Текстиль'
    elif product in category_repair:
        return 'Ремонт'
    else:
        return 'другой'

data['category'] = data.apply(product_category, axis=1)
data.head(10)

category_count = data.groupby(['category'], as_index=False)[['product']].nunique()
category_count.columns = ['category', 'count']
category_count = category_count.sort_values(by='count', ascending=False)
display(category_count)

data.query('category == "другой"').head(10)

orders_groupby_price = data.groupby(['order_id'])[['revenue']].sum().sort_values(by='revenue', ascending=True).reset_index()
orders_groupby_price['revenue'].hist(bins=15, figsize=(10, 7))
plt.title('График распределения заказов по сумме чека')
plt.xlabel('Сумма чека')
plt.ylabel('Количество заказов')
plt.show()

# строим столбчатую диаграмму 
fig = px.bar(category_count.sort_values(by='count', ascending=True), # загружаем данные и заново их сортируем
             x='count', # указываем столбец с данными для оси X
             y='category', # указываем столбец с данными для оси Y
             text='count' # добавляем аргумент, который отобразит текст с информацией
                                # о количестве заведений внутри столбца графика
            )
# оформляем график
fig.update_layout(title='Распределение товаров по категориям',
                   xaxis_title='Количество товаров',
                   yaxis_title='Категория')
fig.show() # выводим график

orders_by_customer = data.loc[:, 'date':'order_id']
orders_by_customer = orders_by_customer.drop_duplicates()

orders_by_customer = orders_by_customer.groupby(['customer_id'], as_index=False)[['order_id']].count()
orders_by_customer.columns = ['customer_id', 'order_count']
display(orders_by_customer.sort_values(by='order_count', ascending=False).head(10))
orders_by_customer['order_count'].describe()

count    2430.000000
mean        1.460494
std         2.690399
min         1.000000
25%         1.000000
50%         1.000000
75%         2.000000
max       126.000000
Name: order_count, dtype: float64

max_order_customer_id = orders_by_customer['customer_id'][orders_by_customer['order_count'] == orders_by_customer['order_count'].max()].values[0]
display(max_order_customer_id)

with pd.option_context('display.max_rows', None, 'display.max_columns', None): 
    display(data[data['customer_id'] == max_order_customer_id])

'c971fb21-d54c-4134-938f-16b62ee86d3b'

sns.displot(orders_by_customer['order_count'])

# Ограничение оси X
plt.xlim([0, 20])  # Устанавливаем границы оси X от 0 до 20 для наглядности

# Задание названия графика и подписей осей
plt.title("График распределения покупаталей по количеству заказов")  # Название графика
plt.xlabel("Количество заказов")  # Подпись оси X
plt.ylabel("Количество покупателей")  # Подпись оси Y
plt.grid(True)

# Показ графика
plt.show()

#data['year_month'] = data['date'].apply(lambda x: x.strftime('%B-%Y'))
data['dt'] = data['date'].apply(lambda x: x.strftime('%Y-%m')) 
display(data.head(5))

revenue = data.pivot_table(index='dt', values='price', aggfunc='sum').reset_index()
revenue.columns = ['dt', 'month_revenue']

revenue['cumulative'] = revenue['month_revenue'].cumsum()
display(revenue.head(5))

plt.figure(figsize=(10, 5))

ax = sns.lineplot(x= 'dt', y= 'cumulative', data = revenue)
ax.grid(True)

plt.title('Динамика выручки')
plt.ylabel('Сумма выручки')
plt.xlabel('Временной интервал')
plt.xticks(rotation='vertical')
plt.show()

#data['year_month'] = data['date'].apply(lambda x: x.strftime('%Y-%m'))
data.pivot_table(index ='dt', values = 'revenue', aggfunc='sum').plot(grid=True, figsize=(10, 5))

plt.title('Динамика ежемесячной выручки')
plt.ylabel('Сумма выручки')
plt.xlabel('Временной интервал')
plt.show()

bill = data.pivot_table(index=['dt', 'order_id'], values='revenue', aggfunc='sum').reset_index()
#display(bill)

bill_mean = bill.groupby('dt')[['revenue']].mean().reset_index()
#display(bill_mean)

plt.figure(figsize=(10, 5))
plt.plot(bill_mean['dt'], bill_mean['revenue'])
plt.grid(True)
plt.title('Динамика среднего чека')
plt.ylabel('Сумма чека')
plt.xlabel('Временной интервал')
plt.xticks(rotation='vertical')
plt.show()

customer_count_bymonth = data.groupby(['dt', 'customer_id'])[['revenue']].sum().reset_index()
#display(customer_count_bymonth)

revenue_mean = customer_count_bymonth.groupby('dt')[['revenue']].mean().reset_index()
#display(revenue_mean)

plt.figure(figsize=(10, 5))
ax = sns.lineplot(x= 'dt', y= 'revenue', data = revenue_mean)
plt.grid(True)
plt.title('Динамика средней выручки с покупателя')
plt.ylabel('Сумма выручки')
plt.xlabel('Временной интервал')
plt.xticks(rotation='vertical')
plt.show()

# Recency
q33_recency = data['date'].quantile(0.33)
q66_recency = data['date'].quantile(0.66)

# создадим датафреим customers_rfm удобный для сегментации по RFM, в котором будет группировка по customer_id, 
# вывод даты последней покупки покупателя, подсчет количества заказов, суммы заказов каждого покупателя

customers_rfm = data.pivot_table(index='customer_id', values=['date', 'order_id', 'revenue'], 
                                 aggfunc={'date':'max', 'order_id':'nunique', 'revenue':'sum'}).reset_index()
customers_rfm.columns=['customer_id', 'date', 'order_count', 'revenue_total']
display(customers_rfm.sort_values(by='order_count', ascending=False).head(5))

# Frequency
q33_frequency = customers_rfm['order_count'].quantile(0.33)
q66_frequency = customers_rfm['order_count'].quantile(0.66)

# Monetary
q33_monetary = customers_rfm['revenue_total'].quantile(0.33)
q66_monetary = customers_rfm['revenue_total'].quantile(0.66)

def set_flag(df, threshold_recency_33, threshold_recency_66, column1, new_column1, 
             threshold_frequency_33, threshold_frequency_66, column2, new_column2, 
             threshold_monetary_33, threshold_monetary_66, column3, new_column3,
            ):
    """
    Присваивает значение 1 в новый столбец, если значение в старом столбце меньше порога.

    :param df: DataFrame, в котором производится проверка условия.
    :param threshold: Пороговое значение, которое сравнивается с текущими значениями в столбце.
    :param column: Имя столбца, значения которого проверяются.
    :param new_column: Имя нового столбца, куда записываются флаги.
    """
    
    df[new_column1] = (df[column1] <= threshold_recency_33).astype(int)
    df.loc[((df[column1] > threshold_recency_33) & (df[column1] <= threshold_recency_66)), new_column1] = 2
    df.loc[(df[column1] > threshold_recency_66), new_column1] = 3

    df[new_column2] = (df[column2] <= threshold_frequency_33).astype(int)
    df.loc[((df[column2] > threshold_frequency_33) & (df[column2] <= threshold_frequency_66)), new_column2] = 2
    df.loc[(df[column2] > threshold_frequency_66), new_column2] = 3

    df[new_column3] = (df[column3] <= threshold_monetary_33).astype(int)
    df.loc[((df[column3] > threshold_monetary_33) & (df[column3] <= threshold_monetary_66)), new_column3] = 2
    df.loc[(df[column3] > threshold_monetary_66), new_column3] = 3


set_flag(customers_rfm, q33_recency, q66_recency, 'date', 'recency',
         q33_frequency, q66_frequency, 'order_count', 'frequency', 
         q33_monetary, q66_monetary, 'revenue_total','monetary')

# Объединяем значения из трех столбцов в один новый столбец
customers_rfm['RFM'] =  customers_rfm[['recency', 'frequency', 'monetary']].astype(str).agg(''.join, axis=1)
display(customers_rfm)

customers_rfm.info()

<class 'pandas.core.frame.DataFrame'>
RangeIndex: 2430 entries, 0 to 2429
Data columns (total 8 columns):
 #   Column         Non-Null Count  Dtype         
---  ------         --------------  -----         
 0   customer_id    2430 non-null   object        
 1   date           2430 non-null   datetime64[ns]
 2   order_count    2430 non-null   int64         
 3   revenue_total  2430 non-null   float64       
 4   recency        2430 non-null   int64         
 5   frequency      2430 non-null   int64         
 6   monetary       2430 non-null   int64         
 7   RFM            2430 non-null   object        
dtypes: datetime64[ns](1), float64(1), int64(4), object(2)
memory usage: 152.0+ KB

rfm_group = customers_rfm.groupby('recency')[['customer_id']].count().reset_index()
rfm_group = rfm_group.sort_values(by='customer_id', ascending=False)
rfm_group['recency'] = rfm_group['recency'].replace({1: 'Ушедшие', 2: 'Неактивные', 3: 'Постоянные'})
display(rfm_group)

fig = px.bar(rfm_group, x='recency', y='customer_id', title='Распределение покупателей по группам Recency')
fig.update_xaxes(title_text='Категории клиентов recency') # подпись для оси X
fig.update_yaxes(title_text='Количество покупателей') # подпись для оси Y
fig.show()

# Выбираем только те столбцы, которые хотим перенести
columns_to_transfer = ['recency']

# Объединяем две таблицы по customer_id
merged_data = data.merge(customers_rfm[['customer_id'] + columns_to_transfer], on='customer_id', how='left')
merged_data['recency'] = merged_data['recency'].replace({1: 'Ушедшие', 2: 'Неактивные', 3: 'Постоянные'})
display(merged_data.head(5))

segment_bill = merged_data.pivot_table(index=['recency', 'order_id'], values='revenue', aggfunc='sum').reset_index()
#display(segment_bill)

segment_bill_mean = segment_bill.pivot_table(index=['recency'], values='revenue', aggfunc='mean').reset_index()
display(segment_bill_mean.round(1).sort_values(by='revenue', ascending = False))

segments_category = merged_data.pivot_table(index=['recency', 'category'], values='quantity', aggfunc='sum').reset_index()
segments_category = segments_category.sort_values(by='quantity', ascending=False)

display(segments_category.sort_values(by='quantity', ascending = False))

# назначаем размер графика
plt.figure(figsize=(10, 10))
# строим столбчатый график средствами seaborn
sns.set_theme(style="whitegrid")
sns.barplot(x='quantity', y='recency', data=segments_category, hue='category', palette="Set2")
# формируем заголовок графика и подписи осей средствами matplotlib
plt.title('Распределение категорий товаров в сегментах клиентов')
plt.xlabel('Количество товаров')
plt.ylabel('Сегменты клиентов')
# поворачиваем подписи значений по оси X на 45 градусов
plt.xticks(rotation=45)
# выбираем положение легенды и указываем размер шрифта
plt.legend(loc='lower right', fontsize=10)
# добавляем сетку
plt.grid()
# отображаем график на экране
plt.show()

category_bymonth = merged_data.pivot_table(index=['dt', 'recency', 'category'], values='quantity', aggfunc='sum').reset_index()
#display(category_bymonth)
print(q33_recency)
print(q66_recency)

for i in category_bymonth['recency'].unique():
    category_month = category_bymonth.query(f"recency == '{i}'")
    plt.figure(figsize=(10, 7))
    sns.lineplot(data = category_month, x= 'dt', y= 'quantity', hue='category')
    plt.title(f"Recency {i} покупатели")
    plt.xlabel('Временной период')
    plt.xticks(rotation=45)
    plt.ylabel('Количество товаров')
    plt.show()

2019-03-04 10:45:00
2019-06-07 08:00:00

alpha = 0.05
#m = 6
#alpha_bonf = alpha / m
#display(alpha_bonf)

df1 = merged_data[merged_data['recency'] == 'Ушедшие']
df11 = df1.groupby('customer_id')[['order_id']].nunique().reset_index()
df3 = merged_data[merged_data['recency'] == 'Постоянные']
df33 = df3.groupby('customer_id')[['order_id']].nunique().reset_index()

results = st.ttest_ind(df11['order_id'], df33['order_id'], equal_var='False', alternative="two-sided")

print('p-значение для теста среднего количества заказов Ушедших и Постоянных покупателей: ', results.pvalue)

p_values = []
p_values.append(results.pvalue)

#if results.pvalue < alpha:
#    print('Отвергаем нулевую гипотезу: разница статистически значима')
#else:
#    print(
#        'Не получилось отвергнуть нулевую гипотезу, вывод о различии сделать нельзя'
#    )

p-значение для теста среднего количества заказов Ушедших и Постоянных покупателей:  1.2634612799526115e-26

df2 = merged_data[merged_data['recency'] == 'Неактивные']
df22 = df2.groupby('customer_id')[['order_id']].nunique().reset_index()

results = st.ttest_ind(df11['order_id'], df22['order_id'], equal_var='False', alternative="two-sided")

print('p-значение для теста среднего количества заказов Ушедших и Неактивных покупателей: ', results.pvalue)

p_values.append(results.pvalue)

#if results.pvalue < alpha:
#    print('Отвергаем нулевую гипотезу: разница статистически значима')
#else:
#    print(
#        'Не получилось отвергнуть нулевую гипотезу, вывод о различии сделать нельзя'
#    )

p-значение для теста среднего количества заказов Ушедших и Неактивных покупателей:  0.18975289332284084

results = st.ttest_ind(df33['order_id'], df22['order_id'], equal_var='False', alternative="two-sided")

print('p-значение для теста среднего количества заказов Постоянных и Неактивных покупателей: ', results.pvalue)

p_values.append(results.pvalue)

#if results.pvalue < alpha_bonf:
#    print('Отвергаем нулевую гипотезу: разница статистически значима')
#else:
#    print(
#        'Не получилось отвергнуть нулевую гипотезу, вывод о различии сделать нельзя'
#    )

p-значение для теста среднего количества заказов Постоянных и Неактивных покупателей:  0.2951131152119108

df111 = df1.groupby(['customer_id', 'order_id'])[['revenue']].sum().reset_index()
#display(df111)

df333 = df3.groupby(['customer_id', 'order_id'])[['revenue']].sum().reset_index()
#display(df333)

results = st.ttest_ind(df111['revenue'], df333['revenue'], equal_var='False', alternative="two-sided")

print('p-значение для теста в среднем чеке заказа Ушедших и Постоянных покупателей: ', results.pvalue)
p_values.append(results.pvalue)

#if results.pvalue < alpha:
#    print('Отвергаем нулевую гипотезу: разница статистически значима')
#else:
#    print(
#        'Не получилось отвергнуть нулевую гипотезу, вывод о различии сделать нельзя'
#    )

p-значение для теста в среднем чеке заказа Ушедших и Постоянных покупателей:  1.6914951155226974e-08

df222 = df2.groupby(['customer_id', 'order_id'])[['revenue']].sum().reset_index()

results = st.ttest_ind(df111['revenue'], df222['revenue'], equal_var='False', alternative="two-sided")

print('p-значение для теста в среднем чеке заказа Ушедших и Неактивных покупателей: ', results.pvalue)
p_values.append(results.pvalue)

#if results.pvalue < alpha:
#    print('Отвергаем нулевую гипотезу: разница статистически значима')
#else:
#    print(
#        'Не получилось отвергнуть нулевую гипотезу, вывод о различии сделать нельзя'
#    )

p-значение для теста в среднем чеке заказа Ушедших и Неактивных покупателей:  0.04813616948592448

results = st.ttest_ind(df333['revenue'], df222['revenue'], equal_var='False', alternative="two-sided")

print('p-значение для теста в среднем чеке заказа Постоянных и Неактивных покупателей: ', results.pvalue)
p_values.append(results.pvalue)

#if results.pvalue < alpha:
#    print('Отвергаем нулевую гипотезу: разница статистически значима')
#else:
#    print(
#        'Не получилось отвергнуть нулевую гипотезу, вывод о различии сделать нельзя'
#    )

p-значение для теста в среднем чеке заказа Постоянных и Неактивных покупателей:  0.001139095694485733

# Применение поправки Бенджамини-Хохберга
corrected_p_values = multipletests(p_values, method='fdr_bh')[1]

# Упорядочить p-значения и скорректированные p-значения вместе
sorted_indices = np.argsort(p_values)
original_p_values_sorted = np.array(p_values)[sorted_indices]
corrected_p_values_sorted = np.array(corrected_p_values)[sorted_indices]

for orig_p, corr_p in zip(original_p_values_sorted, corrected_p_values_sorted):
    print(f"Original p-value: {orig_p:.3f}, Corrected p-value: {corr_p:.3f}")

Original p-value: 0.000, Corrected p-value: 0.000
Original p-value: 0.000, Corrected p-value: 0.000
Original p-value: 0.001, Corrected p-value: 0.002
Original p-value: 0.048, Corrected p-value: 0.072
Original p-value: 0.190, Corrected p-value: 0.228
Original p-value: 0.295, Corrected p-value: 0.295

	date	customer_id	order_id	product	quantity	price
0	2018100100	ee47d746-6d2f-4d3c-9622-c31412542920	68477	Комнатное растение в горшке Алое Вера, d12, h30	1	142.0
1	2018100100	ee47d746-6d2f-4d3c-9622-c31412542920	68477	Комнатное растение в горшке Кофе Арабика, d12,...	1	194.0
2	2018100100	ee47d746-6d2f-4d3c-9622-c31412542920	68477	Радермахера d-12 см h-20 см	1	112.0
3	2018100100	ee47d746-6d2f-4d3c-9622-c31412542920	68477	Хризолидокарпус Лутесценс d-9 см	1	179.0
4	2018100100	ee47d746-6d2f-4d3c-9622-c31412542920	68477	Циперус Зумула d-12 см h-25 см	1	112.0
5	2018100100	ee47d746-6d2f-4d3c-9622-c31412542920	68477	Шеффлера Лузеана d-9 см	1	164.0
6	2018100100	ee47d746-6d2f-4d3c-9622-c31412542920	68477	Юкка нитчатая d-12 см h-25-35 см	1	134.0
7	2018100108	375e0724-f033-4c76-b579-84969cf38ee2	68479	Настенная сушилка для белья Gimi Brio Super 100	1	824.0
8	2018100108	6644e5b4-9934-4863-9778-aaa125207701	68478	Таз пластмассовый 21,0 л круглый "Водолей" С61...	1	269.0
9	2018100109	c971fb21-d54c-4134-938f-16b62ee86d3b	68480	Чехол для гладильной доски Colombo Persia Beig...	1	674.0
10	2018100111	161e1b98-45ba-4b4e-8236-e6e3e70f6f7c	68483	Вешалка для брюк металлическая с резиновым пок...	10	82.0
11	2018100112	86432d8d-b706-463b-bd5d-6a9e170daee3	68484	Сушилка для белья потолочная Zalger Lift Basic...	1	614.0
12	2018100113	4d93d3f6-8b24-403b-a74b-f5173e40d7db	68485	Чехол Eurogold Clean Basic хлопок для досок 12...	1	187.0
13	2018100115	0948b0c2-990b-4a11-b835-69ac4714b21d	68486	Крючок одежный 2-х рожковый серый металлик с п...	96	38.0
14	2018100116	a576fa59-7b28-4a4c-a496-92f128754a94	68487	Корзина мягкая пластиковая 17 л, М-пластика, M...	1	188.0
15	2018100118	17213b88-1514-47a4-b8aa-ce51378ab34e	68476	Мини-сковорода Marmiton "Сердце" с антипригарн...	1	239.0
16	2018100118	17213b88-1514-47a4-b8aa-ce51378ab34e	68476	Сковорода алюминиевая с антипригарным покрытие...	1	824.0
17	2018100118	17213b88-1514-47a4-b8aa-ce51378ab34e	68476	Стеклянная крышка для сковороды ALPENKOK 26 см...	1	262.0
18	2018100118	17213b88-1514-47a4-b8aa-ce51378ab34e	68476	Сушилка для белья напольная Colombo Star 18, 3679	1	1049.0
19	2018100121	b731df05-98fa-4610-8496-716ec530a02c	68474	Доска гладильная Eurogold Professional 130х48 ...	1	3299.0

	date	customer_id	order_id	product	quantity	price
7454	2020012811	ea0d1348-249e-4aff-9149-599eb6d98dec	106547	Настурция Орхидное пламя 5 шт 4650091480692	1	14.0
7455	2020012811	eeba9850-8d4b-40a7-a110-6d11a9196ddc	103325	Кружка для чая Сердечки 250 мл ДСГ55029146	1	45.0
7456	2020012814	57c8999f-ebad-485c-985e-9dc99837775d	112325	Рассада Капусты белокачанная сорт Сибирячка ка...	2	120.0
7457	2020012815	92b18c53-a3d3-44cf-9492-a3566017d611	106880	Форма для выпечки ALPENKOK AK-6038S для кекса ...	1	254.0
7458	2020012815	04d4b824-7b31-4262-8aa0-e43772602521	110214	Тарелка обеденная КОТОН ФЛАУЭР 25 см H2776 Lum...	1	90.0
7459	2020012818	75c1d45a-be89-4f94-8c38-0d386f718943	102547	Вешалка-сушилка Gimi Paco	1	1087.0
7460	2020012821	709dabff-4d9a-4ab0-9e1c-39c253bf90ad	105880	Сумка-тележка хозяйственная Rolser Paris, борд...	1	4117.0
7461	2020012823	c420236c-ebad-4027-a27d-a3e92fbfe11d	109214	Цинерания рассада однолетних цветов в кассете ...	1	210.0
7462	2020012911	9777b839-4212-41bb-94c2-87de3658248a	111436	Крючок проволочный 120 мм оцинкованный, 1110212	1	15.0
7463	2020012912	331e6879-1974-48fb-b8c4-65f03edbb64d	112547	Коврик интерьерный для кухни Tuscan Wine из ПВ...	1	1012.0
7464	2020012913	28437f82-c2a8-41ea-a7c1-bcedece59d8b	102658	Гладильная доска НИКА 3+ 122х34,5 см Н3+	1	1124.0
7465	2020012913	0b2157e5-101e-4e0e-bfaf-7340ed23e574	111547	Коврик придверный, полипропилен, 40х70 см, Kok...	1	749.0
7466	2020012914	904015ba-31f2-4ce4-b68e-02362280a43d	107214	Ящик почтовый металлический с ушками для навес...	1	172.0
7467	2020012917	4228e34b-dcba-4df8-ae70-b282e84a1edb	110547	Tepмокружка AVEX Freeflow 700 мл зеленый AVEX0759	1	2399.0
7468	2020013008	370ed405-57f6-4eff-ab2e-a0bacab6e982	102891	Пеларгония зональная Ринго Вайт d-7 см h-10 см...	1	74.0
7469	2020013021	63208953-a8e4-4f77-9b47-3a46e7b72eee	104002	томата (помидор) Черниченский черри № 116 сорт...	2	38.0
7470	2020013022	d99d25f1-4017-4fcd-8d29-c580cc695a1a	107336	Дендробиум Санок Анна Грин 1 ствол d-12 см	1	869.0
7471	2020013102	2c9bd08d-8c55-4e7a-9bfb-8c56ba42c6d6	106336	Подставка для обуви резиновая Attribute 80x40 ...	1	354.0
7472	2020013112	cdd17932-623e-415f-a577-3b31312fd0e2	102002	Тагетис крупноцветковый рассада однолетних цве...	1	128.0
7473	2020013115	2e460a26-35af-453d-a369-a036e95a40e0	103225	Вешалка для блузок 41 см красный Attribute AHM781	1	104.0

	date	customer_id	order_id	product	quantity	price
0	2018-10-01	ee47d746-6d2f-4d3c-9622-c31412542920	68477	Комнатное растение в горшке Алое Вера, d12, h30	1	142.0
1	2018-10-01	ee47d746-6d2f-4d3c-9622-c31412542920	68477	Комнатное растение в горшке Кофе Арабика, d12,...	1	194.0
2	2018-10-01	ee47d746-6d2f-4d3c-9622-c31412542920	68477	Радермахера d-12 см h-20 см	1	112.0
3	2018-10-01	ee47d746-6d2f-4d3c-9622-c31412542920	68477	Хризолидокарпус Лутесценс d-9 см	1	179.0
4	2018-10-01	ee47d746-6d2f-4d3c-9622-c31412542920	68477	Циперус Зумула d-12 см h-25 см	1	112.0

	date	customer_id	order_id	product	quantity	price
58	2018-10-02 18:00:00	b731df05-98fa-4610-8496-716ec530a02c	68474	Доска гладильная Eurogold Professional 130х48 ...	1	3299.0
59	2018-10-02 19:00:00	b731df05-98fa-4610-8496-716ec530a02c	68474	Доска гладильная Eurogold Professional 130х48 ...	1	3299.0
60	2018-10-02 20:00:00	b731df05-98fa-4610-8496-716ec530a02c	68474	Доска гладильная Eurogold Professional 130х48 ...	1	3299.0
63	2018-10-03 04:00:00	b731df05-98fa-4610-8496-716ec530a02c	68474	Доска гладильная Eurogold Professional 130х48 ...	1	3299.0
94	2018-10-04 13:00:00	32de7df8-8d4f-4c84-a7b9-c41d00dd83ba	68522	Эвкалипт Гунни d-17 см h-60 см	1	1409.0
126	2018-10-07 17:00:00	ce0e0c29-8c8b-4714-84bd-80957224d4cf	68557	Сумка-тележка хозяйственная Gimi Market синяя	1	1874.0
147	2018-10-08 19:00:00	3de09660-90bc-4a28-aaf1-34c8435fe59c	68574	Таз пластмассовый 15,0 л пищевой овальный "Ekk...	1	209.0
148	2018-10-08 19:00:00	3de09660-90bc-4a28-aaf1-34c8435fe59c	68574	Таз пластмассовый 18,0 л пищевой (Иж), 1404047	1	194.0
149	2018-10-08 19:00:00	3de09660-90bc-4a28-aaf1-34c8435fe59c	68574	Таз пластмассовый 20,0 л пищевой (Минеральные ...	1	277.0
150	2018-10-08 19:00:00	3de09660-90bc-4a28-aaf1-34c8435fe59c	68574	Таз пластмассовый 24,0 л пищевой круглый (Иж),...	1	239.0

	order_id	customer_id
0	72845	4
1	71480	3
2	69485	3
3	69410	2
4	71226	2
5	69283	2
6	72950	2
7	70631	2
8	69531	2
9	69833	2
10	70946	2
11	70808	2
12	71054	2
13	69345	2
14	72778	2
15	72188	2
16	71542	2
17	68785	2
18	69310	2
19	71571	2
20	72790	2
21	70114	2
22	14872	2
23	71663	2
24	70726	2
25	71461	2
26	70903	2
27	70542	2
28	71648	2

Проект E-commerce – Выявление профилей потребления интернет-магазина товаров для дома и быта «Пока все еще тут»#¶

Предобработка данных¶

Проверим корректность наименований колонок. Переименуем колонки (если необходимо)¶

Исследовать соответствие типов. Привести типы (если необходимо)¶

Исследуем явные дубликаты. Удалим дубликаты.¶

Исследуем неявные дубликаты. Удалим дубликаты¶

Исследуем пропущенные значения. Заменим пропущенные значения (если возможно)¶

Исследовательский анализ данных¶

Исследование аномальных значений по количеству товаров, сумме чека одного заказа¶

Выполним разделение товаров по категориям¶

Построим график распределения количества заказов по сумме чека¶

Построим гистограмму распределения товаров по категориям¶

Построим гистограмму распределения покупателей по количеству заказов¶

Основные показатели интернет-магазина¶

Выделим динамику выручки и исследуем¶

Найдем средний чек и исследуем его динамику¶

Исследуем помесячную динамику средней выручки с покупателя¶

Сегментация покупателей на основные истории их покупок¶

Сегментация покупателей по RFM анализу (сегмент оттока, пассивные клиенты, активные клиенты)¶

Анализ сегментов (количество покупателей, средний чек, основные продукты и категории)¶

Анализ категорий товаров и их сезонность по выделенным сегментам покупателей¶

Проверка гипотез¶

Посчитаем статистическую значимость различий в среднем количестве заказов покупателей из разных сегментов.¶

Посчитаем статистическую значимость различий в среднем чеке заказа покупателей из разных сегментов.¶

	date	customer_id	order_id	product	quantity	price
512	2018-10-28 22:00:00	0b5ce2c7-acef-4a9a-b821-61a44ed05557	68785	Сиденье в ванну раздвижное, белый, СВ5, НИКА	1	374.0
538	2018-10-30 21:00:00	c1dd5c0e-51db-4a5d-91a3-5374cb20043d	68785	Сиденье в ванну раздвижное, белый, СВ5, НИКА	1	374.0
1154	2018-12-10 12:00:00	2f955596-4b13-432e-93f3-6433395aafe6	69283	Сушилка для белья на батарею НИКА СБ6-65 двухъ...	1	164.0
1160	2018-12-10 16:00:00	e3805ccd-2d64-4d0e-92dd-902293555c35	69283	Сушилка для белья на батарею НИКА СБ6-65 двухъ...	1	164.0
1196	2018-12-13 19:00:00	70d60304-4b3c-4f34-9430-1872ec6e6309	69345	Сушилка для белья Attribute ПРИМА 18 м синяя A...	1	974.0
1209	2018-12-15 07:00:00	22e4d79f-3613-4c22-8b01-7f880120bf5a	69345	Сушилка для белья Attribute ПРИМА 18 м синяя A...	1	974.0
1226	2018-12-16 21:00:00	954172a5-634c-4a50-941d-9db6d15a7377	69310	Муляж Груша желтый 9,5 см полиуретан	7	59.0
1237	2018-12-17 14:00:00	4ea06f66-0876-4dec-8d14-ea994ffe435f	69410	Муляж Желудь 2 шт	3	22.0

	order_id	quantity
0	71156	1
1	71007	1
2	73146	1
3	71009	1
4	73144	1
...	...	...
3516	69289	200
3517	68611	300
3518	71478	300
3519	71668	334
3520	71743	1000

	order_id	revenue
count	3521.0	3521.0
mean	73563.6	1313.1
std	23340.3	11545.8
min	12624.0	9.0
25%	69443.0	194.0
50%	71156.0	584.0
75%	72896.0	1248.7
max	112789.0	675000.0

	count
first_word
Пеларгония	735
Рассада	524
Сушилка	305
Сумка-тележка	267
Муляж	188
томата	168
Петуния	155
Гладильная	141
Коврик	127
Герань	112
Чехол	111
Тележка	102
Штора	89
Таз	78
Роза	70
Однолетнее	69
Искусственный	63
Калибрахоа	52
Тарелка	51
Набор	49
Вешалка	42
Бакопа	42
Корзина	40
Цветок	40
Скатерть	39
Салатник	31
Стремянка	30
Полки	27
Подвесное	27
Базилик	25
Чайник	24
Банка	23
Контейнер	22
Фуксия	22
Мята	21

	date	customer_id	order_id	product	quantity	price	revenue	first_word	category
0	2018-10-01 00:00:00	ee47d746-6d2f-4d3c-9622-c31412542920	68477	Комнатное растение в горшке Алое Вера, d12, h30	1	142.0	142.0	комнатное	Цветы и рассада
1	2018-10-01 00:00:00	ee47d746-6d2f-4d3c-9622-c31412542920	68477	Комнатное растение в горшке Кофе Арабика, d12,...	1	194.0	194.0	комнатное	Цветы и рассада
2	2018-10-01 00:00:00	ee47d746-6d2f-4d3c-9622-c31412542920	68477	Радермахера d-12 см h-20 см	1	112.0	112.0	радермахера	Цветы и рассада
3	2018-10-01 00:00:00	ee47d746-6d2f-4d3c-9622-c31412542920	68477	Хризолидокарпус Лутесценс d-9 см	1	179.0	179.0	хризолидокарпус	Цветы и рассада
4	2018-10-01 00:00:00	ee47d746-6d2f-4d3c-9622-c31412542920	68477	Циперус Зумула d-12 см h-25 см	1	112.0	112.0	циперус	Цветы и рассада
5	2018-10-01 00:00:00	ee47d746-6d2f-4d3c-9622-c31412542920	68477	Шеффлера Лузеана d-9 см	1	164.0	164.0	шеффлера	Цветы и рассада
6	2018-10-01 00:00:00	ee47d746-6d2f-4d3c-9622-c31412542920	68477	Юкка нитчатая d-12 см h-25-35 см	1	134.0	134.0	юкка	Цветы и рассада
8	2018-10-01 08:00:00	6644e5b4-9934-4863-9778-aaa125207701	68478	Таз пластмассовый 21,0 л круглый "Водолей" С61...	1	269.0	269.0	таз	Ванные принадлежности
7	2018-10-01 08:00:00	375e0724-f033-4c76-b579-84969cf38ee2	68479	Настенная сушилка для белья Gimi Brio Super 100	1	824.0	824.0	настенная	Ванные принадлежности
9	2018-10-01 09:00:00	c971fb21-d54c-4134-938f-16b62ee86d3b	68480	Чехол для гладильной доски Colombo Persia Beig...	1	674.0	674.0	чехол	Хранение

	category	count
7	Цветы и рассада	817
0	Ванные принадлежности	430
2	Кухонные принадлежности	336
6	Хранение	199
3	Мебель	180
1	Декор	166
8	другой	161
5	Текстиль	32
4	Ремонт	21

	date	customer_id	order_id	product	quantity	price	revenue	first_word	category
282	2018-10-17 13:00:00	4d93d3f6-8b24-403b-a74b-f5173e40d7db	68668	Щетка-утюжок с ручкой Миди, Standart, York, G1126	50	44.0	2200.0	щетка-утюжок	другой
539	2018-10-30 21:00:00	7c769d6c-869c-4200-b3a6-c33ef2d7723f	68805	Утюг электрический с керамическим покрытием DE...	1	1199.0	1199.0	утюг	другой
661	2018-11-06 12:00:00	1b2764ad-9151-4051-a46a-9b01b62e6335	68878	Урна уличная "Гео", Hobbyka/Хоббика, 59*37,5см...	5	4874.0	24370.0	урна	другой
798	2018-11-13 07:00:00	71129bd1-b3d1-4eb2-966e-ad3591ccf2cb	68977	Бензин для зажигалок, 1205214	1	67.0	67.0	бензин	другой
845	2018-11-17 11:00:00	3414d523-5337-49b9-84f5-dd151a0b5077	69032	Держатель для туалетной бумаги С373 "Полимербы...	1	59.0	59.0	держатель	другой
888	2018-11-20 20:00:00	5dc4e41f-a869-4fac-ae05-f448acdb548d	69066	Фен дорожный DELTA DL-0904 бордовый с черным 2...	1	592.0	592.0	фен	другой
943	2018-11-23 20:00:00	278cffb9-4414-449a-8cb8-ffdbef1bf1d8	69100	Ролик для чистки одежды Clear Line (20 слоев...	1	52.0	52.0	ролик	другой
944	2018-11-23 20:00:00	278cffb9-4414-449a-8cb8-ffdbef1bf1d8	69100	Сменный блок для ролика 2 шт (R160071), Rozenb...	1	38.0	38.0	сменный	другой
959	2018-11-24 09:00:00	e72fcd9e-d3d0-4a40-8910-6bce6e794aed	69104	Термометр на окно уличный на липучках Т-5 h-20...	1	44.0	44.0	термометр	другой
960	2018-11-24 09:00:00	e72fcd9e-d3d0-4a40-8910-6bce6e794aed	69104	Термометр уличный оконный ТБ 202 h-20 см 1210036	1	37.0	37.0	термометр	другой

	customer_id	order_count
1900	c971fb21-d54c-4134-938f-16b62ee86d3b	126
735	4d93d3f6-8b24-403b-a74b-f5173e40d7db	35
1089	73d1cd35-5e5f-4629-8cf2-3fda829d4e58	17
1732	b7b865ab-0735-407f-8d0c-31f74d2806cc	7
17	0184f535-b60a-4914-a982-231e3f615206	6
1804	bea7a833-2074-42db-bc49-4457abd3c930	4
2127	e0535076-6270-4df2-8621-cb06264a94fa	4
693	498f12a4-6a62-4725-8516-cf5dc9ab8a3a	4
1176	7d64b4ea-d03f-4c3a-b283-21b3d0d237f1	3
620	41117d9d-94f7-4145-a8c9-cb6675ce7674	3

	dt	month_revenue	cumulative
0	2018-10	266993.0	266993.0
1	2018-11	232283.0	499276.0
2	2018-12	256626.0	755902.0
3	2019-01	131033.0	886935.0
4	2019-02	226911.0	1113846.0

	customer_id	date	order_count	revenue_total
1900	c971fb21-d54c-4134-938f-16b62ee86d3b	2019-03-06 12:00:00	126	159508.0
735	4d93d3f6-8b24-403b-a74b-f5173e40d7db	2018-10-24 14:00:00	35	57278.0
1089	73d1cd35-5e5f-4629-8cf2-3fda829d4e58	2019-10-31 14:00:00	17	21361.0
1732	b7b865ab-0735-407f-8d0c-31f74d2806cc	2019-04-23 17:00:00	7	3779.0
17	0184f535-b60a-4914-a982-231e3f615206	2019-05-23 12:00:00	5	5891.0

	date	customer_id	order_id	product	quantity	price
13	2018-10-01 15:00:00	0948b0c2-990b-4a11-b835-69ac4714b21d	68486	Крючок одежный 2-х рожковый серый металлик с п...	96	38.0
43	2018-10-02 11:00:00	4d93d3f6-8b24-403b-a74b-f5173e40d7db	68493	Щетка-сметка 4-х рядная деревянная 300 мм (фиг...	15	70.0
42	2018-10-02 11:00:00	4d93d3f6-8b24-403b-a74b-f5173e40d7db	68493	Щетка-сметка 3-х рядная деревянная 450 мм (пло...	15	49.0
41	2018-10-02 11:00:00	1bc8ad38-3392-4042-8cde-aa5de306c947	68494	Муляж ЧЕРЕШНЯ 3см 10 шт., желтый, Fancy Fair, ...	1	89.0
40	2018-10-02 11:00:00	1bc8ad38-3392-4042-8cde-aa5de306c947	68494	Муляж Томат, оранжевый, 9 см, полиуретан, Fanc...	1	104.0
39	2018-10-02 11:00:00	1bc8ad38-3392-4042-8cde-aa5de306c947	68494	Муляж Персики мини полиуретан d-6 см	1	22.0
38	2018-10-02 11:00:00	1bc8ad38-3392-4042-8cde-aa5de306c947	68494	Муляж Перец, красный, 10 см, полиуретан, Fancy...	1	104.0
37	2018-10-02 11:00:00	1bc8ad38-3392-4042-8cde-aa5de306c947	68494	Муляж Перец, зеленый, 10 см, полиуретан, Fancy...	1	104.0
36	2018-10-02 11:00:00	1bc8ad38-3392-4042-8cde-aa5de306c947	68494	Муляж Мандарин, оранжевый, 8 см, полиуретан, F...	1	52.0
35	2018-10-02 11:00:00	1bc8ad38-3392-4042-8cde-aa5de306c947	68494	Муляж Лимон, желтый, 9 см, полиуретан, Fancy F...	1	59.0
34	2018-10-02 11:00:00	1bc8ad38-3392-4042-8cde-aa5de306c947	68494	Муляж Красное яблоко мини полиуретан d-6 см	1	22.0
33	2018-10-02 11:00:00	1bc8ad38-3392-4042-8cde-aa5de306c947	68494	Муляж Клубника на магните	1	37.0
28	2018-10-02 11:00:00	1bc8ad38-3392-4042-8cde-aa5de306c947	68494	Муляж ГРАНАТ 9см, красный, Fancy Fair, SL90, к...	1	59.0
31	2018-10-02 11:00:00	1bc8ad38-3392-4042-8cde-aa5de306c947	68494	Муляж Зеленое яблоко полиуретан d-6 см	1	22.0
30	2018-10-02 11:00:00	1bc8ad38-3392-4042-8cde-aa5de306c947	68494	Муляж Груша, желтый, 9,5 см, полиуретан, Fancy...	1	59.0
29	2018-10-02 11:00:00	1bc8ad38-3392-4042-8cde-aa5de306c947	68494	Муляж Груша мини 2 шт, желтая 4 см	1	29.0
27	2018-10-02 11:00:00	1bc8ad38-3392-4042-8cde-aa5de306c947	68494	Муляж Виноград 14 см цвет в ассортименте	1	104.0
26	2018-10-02 11:00:00	1bc8ad38-3392-4042-8cde-aa5de306c947	68494	Муляж Банан, желтый, 21 см, полиуретан, Fancy ...	1	59.0
25	2018-10-02 11:00:00	1bc8ad38-3392-4042-8cde-aa5de306c947	68494	Муляж "Райские Яблочки Зеленые" 2 шт полиурета...	1	29.0
32	2018-10-02 11:00:00	1bc8ad38-3392-4042-8cde-aa5de306c947	68494	Муляж Клубника 1 шт полиуретан d-6 см	1	22.0
91	2018-10-04 10:00:00	e8a27cb1-6d5a-4161-aac4-11df7dfb4a0e	68523	Цветок искусственный Гвоздика тканевая красная...	5	22.0
90	2018-10-04 10:00:00	e8a27cb1-6d5a-4161-aac4-11df7dfb4a0e	68523	Набор фужеров Luminarc ДАМПЬЕР СИЛЬВЕР для вин...	1	1949.0
89	2018-10-04 10:00:00	e8a27cb1-6d5a-4161-aac4-11df7dfb4a0e	68523	Муляж Персик, оранжевый, 9 см, полиуретан, Fan...	5	59.0
88	2018-10-04 10:00:00	e8a27cb1-6d5a-4161-aac4-11df7dfb4a0e	68523	Муляж Мандарин, оранжевый, 8 см, полиуретан, F...	6	52.0
87	2018-10-04 10:00:00	e8a27cb1-6d5a-4161-aac4-11df7dfb4a0e	68523	Муляж Груша, желтый, 9,5 см, полиуретан, Fancy...	2	59.0
86	2018-10-04 10:00:00	e8a27cb1-6d5a-4161-aac4-11df7dfb4a0e	68523	Муляж Груша, желтый, 9,5 см, полиуретан, Fancy...	3	59.0
85	2018-10-04 10:00:00	e8a27cb1-6d5a-4161-aac4-11df7dfb4a0e	68523	Муляж ГРАНАТ 9см, красный, Fancy Fair, SL90, к...	4	59.0
84	2018-10-04 10:00:00	e8a27cb1-6d5a-4161-aac4-11df7dfb4a0e	68523	Муляж Вишня, вишневый, 3 см, 10 шт, полиуретан...	2	97.0
83	2018-10-04 10:00:00	e8a27cb1-6d5a-4161-aac4-11df7dfb4a0e	68523	Муляж Виноград, черный, 26 см, полиуретан, Fan...	2	247.0
82	2018-10-04 10:00:00	e8a27cb1-6d5a-4161-aac4-11df7dfb4a0e	68523	Муляж Виноград, зеленый, 26 см, полиуретан, Fa...	1	247.0
81	2018-10-04 10:00:00	e8a27cb1-6d5a-4161-aac4-11df7dfb4a0e	68523	Муляж Виноград, желтый, 24 см, полиуретан, Fan...	1	247.0
144	2018-10-08 15:00:00	9151d307-654c-4239-a888-ada5ca45f0b2	68571	Набор вешалок для костюма 45см 4шт цвет: кремо...	37	202.0
160	2018-10-09 09:00:00	c971fb21-d54c-4134-938f-16b62ee86d3b	68580	Стяжка оконная с болтом СТ-55 цинк, 1108354	64	19.0
164	2018-10-09 11:00:00	4d93d3f6-8b24-403b-a74b-f5173e40d7db	68585	Крючок одежный тройной латунь (Б-47), 1110182	25	57.0
174	2018-10-10 14:00:00	3e2c8193-3fc0-4607-a59f-bcdf169ce351	68599	Муляж Яблоко зеленый 9 см полиуретан	25	51.0
173	2018-10-10 14:00:00	3e2c8193-3fc0-4607-a59f-bcdf169ce351	68599	Муляж Апельсин 8 см полиуретан	25	51.0
187	2018-10-11 08:00:00	c971fb21-d54c-4134-938f-16b62ee86d3b	68605	Декоративная композиция искуственных цветов Бу...	10	106.0
188	2018-10-11 08:00:00	c971fb21-d54c-4134-938f-16b62ee86d3b	68605	Искусственный цветок Роза бархатная с закрытым...	10	71.0
233	2018-10-12 15:00:00	4d93d3f6-8b24-403b-a74b-f5173e40d7db	68623	Петля приварная гаражная d 14х90 мм с шаром, 1...	50	38.0
266	2018-10-16 08:00:00	cd09ea73-d9ce-48c3-b4c5-018113735e80	68611	Крепеж для пружины дверной, 1107055	150	19.0

	date	customer_id	order_id	product	quantity	price	revenue	first_word	category
9	2018-10-01 09:00:00	c971fb21-d54c-4134-938f-16b62ee86d3b	68480	Чехол для гладильной доски Colombo Persia Beig...	1	674.0	674.0	чехол	Хранение
20	2018-10-02 08:00:00	c971fb21-d54c-4134-938f-16b62ee86d3b	68490	Чехол для гладильной доски Festival 137x60 см ...	1	1162.0	1162.0	чехол	Хранение
64	2018-10-03 08:00:00	c971fb21-d54c-4134-938f-16b62ee86d3b	68511	Набор прищепок большие пластиковые ROZENBAL ПИ...	10	86.0	860.0	набор	Кухонные принадлежности
65	2018-10-03 10:00:00	c971fb21-d54c-4134-938f-16b62ee86d3b	68514	Сушилка для белья Attribute ПРИМА 11 м синяя н...	1	749.0	749.0	сушилка	Ванные принадлежности
130	2018-10-08 07:00:00	c971fb21-d54c-4134-938f-16b62ee86d3b	68561	Тележка багажная DELTA ТБР-20 коричневый с ора...	1	742.0	742.0	тележка	Хранение
131	2018-10-08 08:00:00	c971fb21-d54c-4134-938f-16b62ee86d3b	68562	Готовая скатерть Ажурная Dia Rose круглая д.15...	1	712.0	712.0	готовая	Кухонные принадлежности
132	2018-10-08 09:00:00	c971fb21-d54c-4134-938f-16b62ee86d3b	68563	Сушилка для белья потолочная Zalger Lift Basic...	1	614.0	614.0	сушилка	Ванные принадлежности
139	2018-10-08 13:00:00	c971fb21-d54c-4134-938f-16b62ee86d3b	68568	Таз пластмассовый 18,0 л квадратный (ТП-18) "П...	1	254.0	254.0	таз	Ванные принадлежности
160	2018-10-09 09:00:00	c971fb21-d54c-4134-938f-16b62ee86d3b	68580	Стяжка оконная с болтом СТ-55 цинк, 1108354	64	19.0	1216.0	стяжка	Мебель
171	2018-10-10 08:00:00	c971fb21-d54c-4134-938f-16b62ee86d3b	68596	Сумка-тележка 3-х колесная Gimi Tris Floral синяя	1	2699.0	2699.0	сумка-тележка	Хранение
172	2018-10-10 13:00:00	c971fb21-d54c-4134-938f-16b62ee86d3b	68597	Сумка-тележка хозяйственная Andersen Scala Sho...	1	3899.0	3899.0	сумка-тележка	Хранение
183	2018-10-11 08:00:00	c971fb21-d54c-4134-938f-16b62ee86d3b	68604	Герань домашняя (пеларгония зональная) цветуща...	1	149.0	149.0	герань	Цветы и рассада
184	2018-10-11 08:00:00	c971fb21-d54c-4134-938f-16b62ee86d3b	68604	Герань домашняя (пеларгония зональная) цветуща...	1	149.0	149.0	герань	Цветы и рассада
185	2018-10-11 08:00:00	c971fb21-d54c-4134-938f-16b62ee86d3b	68604	Герань домашняя (пеларгония зональная) цветуща...	1	149.0	149.0	герань	Цветы и рассада
186	2018-10-11 08:00:00	c971fb21-d54c-4134-938f-16b62ee86d3b	68604	Герань домашняя (пеларгония зональная) цветуща...	1	149.0	149.0	герань	Цветы и рассада
187	2018-10-11 08:00:00	c971fb21-d54c-4134-938f-16b62ee86d3b	68605	Декоративная композиция искуственных цветов Бу...	10	106.0	1060.0	декоративная	Декор
188	2018-10-11 08:00:00	c971fb21-d54c-4134-938f-16b62ee86d3b	68605	Искусственный цветок Роза бархатная с закрытым...	10	71.0	710.0	искусственный	Декор
257	2018-10-15 10:00:00	c971fb21-d54c-4134-938f-16b62ee86d3b	68651	Чехол для гладильной доски Zalger 520135 140х5...	1	314.0	314.0	чехол	Хранение
280	2018-10-17 13:00:00	c971fb21-d54c-4134-938f-16b62ee86d3b	68671	Светильник настольный 17 LED ламп, светодиодны...	1	1199.0	1199.0	светильник	Декор
313	2018-10-19 07:00:00	c971fb21-d54c-4134-938f-16b62ee86d3b	68685	Таз пластмассовый 40,0 л пищевой овальный (Иж)...	5	404.0	2020.0	таз	Ванные принадлежности
314	2018-10-19 10:00:00	c971fb21-d54c-4134-938f-16b62ee86d3b	68686	Сумка-тележка 2-х колесная складная Gimi Flexi...	1	1649.0	1649.0	сумка-тележка	Хранение
396	2018-10-24 09:00:00	c971fb21-d54c-4134-938f-16b62ee86d3b	68737	Салфетка Protec Textil Polyline 30х43 см Амети...	4	224.0	896.0	салфетка	Кухонные принадлежности
398	2018-10-24 10:00:00	c971fb21-d54c-4134-938f-16b62ee86d3b	68739	Щетка палубная 215х80х20 мм 6-рядная без черен...	1	82.0	82.0	щетка	Ванные принадлежности
513	2018-10-29 07:00:00	c971fb21-d54c-4134-938f-16b62ee86d3b	68787	Сушилка для белья Gimi Extension	1	2999.0	2999.0	сушилка	Ванные принадлежности
551	2018-10-31 09:00:00	c971fb21-d54c-4134-938f-16b62ee86d3b	68808	Гладильная доска Attribute ХОМИ ТОП 124х40 см ...	1	2624.0	2624.0	гладильная	Мебель
552	2018-10-31 09:00:00	c971fb21-d54c-4134-938f-16b62ee86d3b	68808	Чехол для гладильной доски METAL 135х53 см, At...	1	509.0	509.0	чехол	Хранение
569	2018-11-01 09:00:00	c971fb21-d54c-4134-938f-16b62ee86d3b	68819	Тележка багажная DELTA ТБР-20 коричневый с ора...	1	742.0	742.0	тележка	Хранение
690	2018-11-07 15:00:00	c971fb21-d54c-4134-938f-16b62ee86d3b	68905	Рыбочистка металлическая, 1216396	3	127.0	381.0	рыбочистка	Кухонные принадлежности
691	2018-11-07 17:00:00	c971fb21-d54c-4134-938f-16b62ee86d3b	68907	Сиденье для унитаза Росспласт АЖУР белое РП-813	1	374.0	374.0	сиденье	Ванные принадлежности
725	2018-11-09 10:00:00	c971fb21-d54c-4134-938f-16b62ee86d3b	68925	Сушилка для белья потолочная Лиана 2,4 м 1703011	1	734.0	734.0	сушилка	Ванные принадлежности
726	2018-11-09 10:00:00	c971fb21-d54c-4134-938f-16b62ee86d3b	68927	Сумка-тележка хозяйственная GIMI Ideal серая (...	1	1649.0	1649.0	сумка-тележка	Хранение
730	2018-11-09 14:00:00	c971fb21-d54c-4134-938f-16b62ee86d3b	68931	Тележка багажная DELTA ТБР-20 коричневый с ора...	1	742.0	742.0	тележка	Хранение
778	2018-11-12 10:00:00	c971fb21-d54c-4134-938f-16b62ee86d3b	68962	Бальзамин новогвинейский d-13 см	2	134.0	268.0	бальзамин	Цветы и рассада
788	2018-11-12 11:00:00	c971fb21-d54c-4134-938f-16b62ee86d3b	68968	Герань домашняя (пеларгония зональная) цветуща...	1	149.0	149.0	герань	Цветы и рассада
792	2018-11-12 11:00:00	c971fb21-d54c-4134-938f-16b62ee86d3b	68968	Фиалка Микс d-9 см	2	164.0	328.0	фиалка	Цветы и рассада
791	2018-11-12 11:00:00	c971fb21-d54c-4134-938f-16b62ee86d3b	68968	Герань домашняя (пеларгония зональная) цветуща...	1	149.0	149.0	герань	Цветы и рассада
787	2018-11-12 11:00:00	c971fb21-d54c-4134-938f-16b62ee86d3b	68968	Герань домашняя (пеларгония зональная) цветуща...	1	149.0	149.0	герань	Цветы и рассада
789	2018-11-12 11:00:00	c971fb21-d54c-4134-938f-16b62ee86d3b	68968	Герань домашняя (пеларгония зональная) цветуща...	1	149.0	149.0	герань	Цветы и рассада
790	2018-11-12 11:00:00	c971fb21-d54c-4134-938f-16b62ee86d3b	68968	Герань домашняя (пеларгония зональная) цветуща...	1	149.0	149.0	герань	Цветы и рассада
824	2018-11-16 11:00:00	c971fb21-d54c-4134-938f-16b62ee86d3b	69023	Чайник электрический пластиковый ВАСИЛИСА T7-1...	1	539.0	539.0	чайник	Кухонные принадлежности

	customer_id	date	order_count	revenue_total	recency	frequency	monetary	RFM
0	000d6849-084e-4d9f-ac03-37174eaf60c4	2019-10-16 08:00:00	1	555.0	3	1	2	312
1	001cee7f-0b29-4716-b202-0042213ab038	2019-02-16 11:00:00	1	442.0	1	1	1	111
2	00299f34-5385-4d13-9aea-c80b81658e1b	2019-10-14 23:00:00	1	914.0	3	1	2	312
3	002d4d3a-4a59-406b-86ec-c3314357e498	2019-01-27 17:00:00	1	1649.0	1	1	3	113
4	003bbd39-0000-41ff-b7f9-2ddaec152037	2019-09-29 17:00:00	1	2324.0	3	1	3	313
...	...	...	...	...	...	...	...	...
2425	ff601403-b094-4b86-9ac6-264d725b9277	2020-01-19 11:00:00	2	1739.0	3	2	3	323
2426	ffaeab76-3a8d-49ee-860f-17273b2fc8a2	2019-10-31 02:00:00	1	397.0	3	1	1	311
2427	ffb5976a-7a4d-460b-95c4-5ffaba31cb24	2018-12-15 23:00:00	1	389.0	1	1	1	111
2428	ffb80538-3fda-4351-8ea9-9d2bec58bb07	2019-09-09 12:00:00	1	974.0	3	1	2	312
2429	ffe82299-3f5b-4214-87fe-3d36ecccfac3	2019-10-22 13:00:00	1	577.0	3	1	2	312

	recency	customer_id
2	Постоянные	1321
0	Ушедшие	664
1	Неактивные	445

	recency	revenue
2	Ушедшие	1483.3
0	Неактивные	1217.9
1	Постоянные	965.5

	recency	category	quantity
7	Неактивные	Цветы и рассада	2062
16	Постоянные	Цветы и рассада	1086
19	Ушедшие	Декор	1022
1	Неактивные	Декор	853
18	Ушедшие	Ванные принадлежности	837
20	Ушедшие	Кухонные принадлежности	808
21	Ушедшие	Мебель	807
12	Постоянные	Мебель	725
9	Постоянные	Ванные принадлежности	697
25	Ушедшие	Цветы и рассада	604
10	Постоянные	Декор	588
11	Постоянные	Кухонные принадлежности	497
15	Постоянные	Хранение	404
0	Неактивные	Ванные принадлежности	399
24	Ушедшие	Хранение	394
3	Неактивные	Мебель	338
2	Неактивные	Кухонные принадлежности	302
26	Ушедшие	другой	200
8	Неактивные	другой	182
13	Постоянные	Ремонт	182
17	Постоянные	другой	162
6	Неактивные	Хранение	102
22	Ушедшие	Ремонт	62
23	Ушедшие	Текстиль	42
14	Постоянные	Текстиль	32
5	Неактивные	Текстиль	29
4	Неактивные	Ремонт	19